Font generation is a difficult and time-consuming task, especially in those languages using ideograms that have complicated structures with a large number of characters, such as Chinese. To solve this problem, few-shot font generation and even one-shot font generation have attracted a lot of attention. However, most existing font generation methods may still suffer from (i) large cross-font gap challenge; (ii) subtle cross-font variation problem; and (iii) incorrect generation of complicated characters. In this paper, we propose a novel one-shot font generation method based on a diffusion model, named Diff-Font, which can be stably trained on large datasets. The proposed model aims to generate the entire font library by giving only one sample as the reference. Specifically, a large stroke-wise dataset is constructed, and a stroke-wise diffusion model is proposed to preserve the structure and the completion of each generated character. To our best knowledge, the proposed Diff-Font is the first work that developed diffusion models to handle the font generation task. The well-trained Diff-Font is not only robust to font gap and font variation, but also achieved promising performance on difficult character generation. Compared to previous font generation methods, our model reaches state-of-the-art performance both qualitatively and quantitatively.

For low-level computer vision and image processing ML tasks, training on large datasets is critical for generalization. However, the standard practice of relying on real-world images primarily from the Internet comes with image quality, scalability, and privacy issues, especially in commercial contexts. To address this, we have developed a procedural synthetic data generation pipeline and dataset tailored to low-level vision tasks. Our Unreal engine-based synthetic data pipeline populates large scenes algorithmically with a combination of random 3D objects, materials, and geometric transformations. Then, we calibrate the camera noise profiles to synthesize the noisy images. From this pipeline, we generated a fully synthetic image denoising dataset (FSID) which consists of 175,000 noisy/clean image pairs. We then trained and validated a CNN-based denoising model, and demonstrated that the model trained on this synthetic data alone can achieve competitive denoising results when evaluated on real-world noisy images captured with smartphone cameras.

This technical report briefly describes our JDExplore d-team's Vega v2 submission on the SuperGLUE leaderboard. SuperGLUE is more challenging than the widely used general language understanding evaluation (GLUE) benchmark, containing eight difficult language understanding tasks, including question answering, natural language inference, word sense disambiguation, coreference resolution, and reasoning. [Method] Instead of arbitrarily increasing the size of a pretrained language model (PLM), our aim is to 1) fully extract knowledge from the input pretraining data given a certain parameter budget, e.g., 6B, and 2) effectively transfer this knowledge to downstream tasks. To achieve goal 1), we propose self-evolution learning for PLMs to wisely predict the informative tokens that should be masked, and supervise the masked language modeling (MLM) process with rectified smooth labels. For goal 2), we leverage the prompt transfer technique to improve the low-resource tasks by transferring the knowledge from the foundation model and related downstream tasks to the target task. [Results] According to our submission record (Oct. 2022), with our optimized pretraining and fine-tuning strategies, our 6B Vega method achieved new state-of-the-art performance on 4/8 tasks, sitting atop the SuperGLUE leaderboard on Oct. 8, 2022, with an average score of 91.3.

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

人的大脑可以毫不费力地识别和定位对象，而基于激光雷达点云的当前3D对象检测方法仍然报告了较低的性能，以检测闭塞和远处的对象：点云的外观由于遮挡而变化很大，并且在沿线的固有差异沿点固有差异变化。传感器的距离。因此，设计功能表示对此类点云至关重要。受到人类联想识别的启发，我们提出了一个新颖的3D检测框架，该框架通过域的适应来使对象完整特征。我们弥合感知域之间的差距，其中特征是从具有亚最佳表示的真实场景中得出的，以及概念域，其中功能是从由不批准对象组成的增强场景中提取的，并具有丰富的详细信息。研究了一种可行的方法，可以在没有外部数据集的情况下构建概念场景。我们进一步介绍了一个基于注意力的重新加权模块，该模块可适应地增强更翔实区域的特征。该网络的功能增强能力将被利用，而无需在推理过程中引入额外的成本，这是各种3D检测框架中的插件。我们以准确性和速度都在Kitti 3D检测基准上实现了新的最先进性能。关于Nuscenes和Waymo数据集的实验也验证了我们方法的多功能性。

迅速调整，它冻结了预审计的语言模型（PLM），只有微调的几个额外软提示的参数，在PLM具有数十亿个参数时，对全参数微调（即模型调整）显示出具有竞争性的性能，但仍然显示出竞争力。在较小的PLM的情况下，性能差。因此，迅速转移（POT），通过训练有素的类似源任务的提示来初始化目标提示，最近提议改善及时调整。但是，这样的香草锅方法通常会实现次优的性能，因为（i）锅对源目标对的相似性和（ii）直接对目标提示进行初始提示的提示敏感，而目标任务可能会导致灾难性忘记来源知识。为了解决这些问题，我们提出了一个新的指标，以准确预测及时的转移性（关于（i）），以及一种利用知识蒸馏技术将“知识”从源提示转移到的新颖的锅方法（即熊猫）目标以微妙的方式提示，并有效缓解灾难性遗忘（关于（ii））。此外，为了实现每个源目标对的自适应及时转移，我们使用指标来控制熊猫方法中的知识转移。对PLM的5个量表的21个源和9个目标数据集的189组组合进行了广泛而系统的实验，表明：1）我们提出的指标很好地预测了及时的可传递性； 2）在所有任务和型号中，我们的熊猫始终优于香草锅的平均得分2.3％（最高24.1％）； 3）通过我们的熊猫方法，及时调整可以比在各种PLM量表场景中的模型调整来实现竞争性甚至更好的性能。接受代码和模型将在接受后发布。

大型视觉基础模型在自然图像上的视觉任务上取得了重大进展，在这种情况下，视觉变压器是其良好可扩展性和表示能力的主要选择。但是，在现有模型仍处于小规模的情况下，遥感社区（RS）社区中大型模型的利用仍然不足，从而限制了性能。在本文中，我们使用约1亿个参数求助于普通视觉变压器，并首次尝试提出针对RS任务定制的大型视觉模型，并探索如此大型模型的性能。具体而言，要处理RS图像中各种取向的较大图像大小和对象，我们提出了一个新的旋转型尺寸的窗户注意力，以替代变形金刚中的原始关注，这可以大大降低计算成本和内存足迹，同时学习更好的对象通过从生成的不同窗口中提取丰富上下文来表示。关于检测任务的实验证明了我们模型的优越性，超过了所有最新模型，在DOTA-V1.0数据集上实现了81.16 \％地图。与现有的高级方法相比，我们在下游分类和细分任务上的模型结果也证明了竞争性能。进一步的实验显示了我们模型对计算复杂性和几乎没有学习的优势。代码和模型将在https://github.com/vitae-transformer/remote-sensing-rvsa上发布

卷积神经网络（CNN）已被证明在肺结核检测领域非常有效。但是，现有的基于CNN的肺结核检测方法缺乏捕获长期依赖性的能力，这对于全局信息提取至关重要。在计算机视觉任务中，非本地操作已被广泛使用，但是对于3D计算机断层扫描（CT）图像，计算成本可能很高。为了解决这个问题，我们提出了一个长的短切片网络（LSSANET），用于检测肺结核。特别是，我们开发了一种称为长短切片组（LSSG）的新的非本地机制，该机制将紧凑的非本地嵌入分裂为一个短距离切片，分组为一和长距离切片。这不仅减轻了计算负担，而且还可以在切片和整个功能图中保持长期依赖性。提出的LSSG易于使用，可以插入许多肺结核检测网络中。为了验证LSSANET的性能，我们将基于2D/3D CNN的几种最近提出的竞争检测方法进行比较。大规模PN9数据集的有希望的评估结果证明了我们方法的有效性。代码在https://github.com/ruixxxx/lssanet上。

几乎没有零件分割的目的是仅给出几个带注释的样本，将对象的不同部分分开。由于数据有限的挑战，现有的作品主要集中在学习分类器上，而不是预先训练的功能，无法学习针对零件细分的任务特定功能。在本文中，我们建议在“预训练” - “微调”范式中学习特定于任务的功能。我们进行及时设计以减少预训练任务（即图像生成）与下游任务（即部分分段）之间的差距，以便可以利用生成的GAN先验进行分割。这是通过将零件分割图投影到RGB空间中并在RGB分割图和原始图像之间进行插值来实现的。具体而言，我们设计了一种微调策略，以逐步将图像发生器调整到分割生成器中，在该机构中，生成器的监督通过插值从图像到分割图各不等。此外，我们提出了一个两流体系结构，即一个分割流以生成特定于任务的特征，以及一个图像流以提供空间约束。图像流可以视为自我监管的自动编码器，这使我们的模型能够从大规模的支持图像中受益。总体而言，这项工作是试图通过及时设计来探索一代任务和感知任务之间的内部相关性。广泛的实验表明，我们的模型可以在几个部分分割数据集上实现最新性能。

在目标属性下设计和生成新数据一直吸引着各种关键应用，例如分子设计，图像编辑和语音合成。传统手工制作的方法在很大程度上依赖于专业知识经验和强化人类的努力，但仍遭受科学知识和低吞吐量的不足，无法支持有效，有效的数据生成。最近，深度学习的进步引起了可以学习数据的基本表示和属性的表达方法。这种能力为弄清数据的结构模式和功能特性之间的相互关系提供了新的机会，并利用这种关系以生成所需属性的结构数据。本文对这个有前途的研究领域进行了系统的综述，通常称为可控制的深度数据生成。首先，提出了潜在的挑战，并提供了初步的挑战。然后，正式定义了可控的深度数据生成，提出了各种技术的分类法，并总结了该特定领域中的评估指标。之后，引入了可控制的深度数据生成的令人兴奋的应用程序，并对现有的作品进行了实验分析和比较。最后，突出显示了可控制的深度数据生成的有希望的未来方向，并确定了五个潜在的挑战。